Kinesis Data Generatorを使用してKinesis Data Streamsにデータを送信してみた。

SUMANGALAS

2022.06.18

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

概要

Kinesis Data Generator(KDG)は、テストデータの連続したストリームを生成できます。Kinesis Data Generatorは、テストデータをKinesis Data Streams または Kinesis Firehose Delivery Streamに送信できます。KDGは毎秒数千のレコードを連続して送信することができます。

この記事では、Kinesis Data Generatorを使用してKinesis Data Streamsにデータを送信してみました。その後、データは処理のためにLambdaに送信されます。データレコードがストリームに書き込まれると、Lambda Functionが呼び出され、データが処理されます。

やってみた

IAM ロールの作成

この設定でIAMロールを作成しておきます。
- 信頼されたエンティティの種類　:　AWS のサービス
- ユースケース　:　AWS Lambda
- ポリシー : AWSLambdaKinesisExecutionRole
- ロールの名前 : Lambda-Kinesis

Kinesis Data Streamの作成

Amazon Kinesisコンソールで、Kinesis Data Streamsを選択して、Create data streamをクリックしておきます。
次の設定でData Streamを作成しておきます。
- データストリーム名　: 　データストリームの名前を入力します。
- Data stream capacity　：　Provisioned
- Provisioned shards　：　１

Lambda Functionの作成

AWS Lambdaコンソールで、Create functionを選択しておきます。
関数名を入力して、RuntineでNode.jsを選択して、前の手順で作成したIAMロールを選択して、関数を作成しておきます。

機能コードを次のコードに置き換えます。必要に応じてコードを変更できます。

exports.handler = function(event, context) {
    event.Records.forEach(function(record) {
        var data = Buffer.from(record.kinesis.data, 'base64').toString('ascii');
        console.log('Decoded data:', data);
    });
};